Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
贝叶斯稀疏低秩适应实现大语言模型不确定性估计
🧭 LoRA 变分贝叶斯稀疏训练 · 不确定性校准
Jilin University · Michigan State University
在LoRA的秩维度上施加随机掩码实现变分贝叶斯稀疏化，高效校准LLM推理置信度
📌 工作参考价值（4 点）
- 电商/推荐系统中用 LoRA 微调 LLM 做预测时，可直接引入秩维度的随机掩码（如训练时 Dropout 某个 rank component）来抑制过自信，无需修改模型主体。
- 将 DALorRA 的变分贝叶斯训练视为一种轻量集成：推理时多次随机采样子 rank 结构取平均，低成本获得校准后的预测分布，适合线上需要可信度打分的场景。
- 该工作验证了在仅操作 LoRA 参数的情况下即可实现有效校准，对线上部署友好，可避免昂贵地维护多个模型副本。
- 方法简单、即插即用，可直接嵌入现有的 LoRA 微调流程（如广告预估、搜索相关性判断等分类/回归微调任务）获得置信度更可靠的输出。